随着神经网络的不断扩展，对其财产的完整和合理验证的需求变得至关重要。近年来，确定二进制神经网络（BNN）在布尔逻辑中具有等效的表示，并且可以使用诸如SAT求解器之类的逻辑推理工具进行正式分析。但是，迄今为止，只能将BNN转换为SAT公式。在这项工作中，我们介绍了真实表深卷积神经网络（TTNETS），这是一个新的sat-odsody型号，首次是现实价值的重量。此外，它通过构造承认，在稳健性验证设置中，包括调节后和拖延性，包括后调整功能。后一种属性导致比BNN更紧凑的SAT符号编码。这使使用一般SAT求解器的使用使属性验证更加容易。我们证明了TTNET关于形式鲁棒性属性的值：TTNET在具有可比的计算时间的所有BNN的验证精度上优于验证的准确性。更普遍地，它们代表了所有已知的完整验证方法之间的相关权衡：TTNET在快速验证时间内实现了高验证的精度，并且没有超时。在这里，我们正在探索TTNET的概念证明，以实现非常重要的应用（稳健性的完整验证），我们相信这个新颖的实现的网络构成了对功能正式验证需求不断增长的实际响应。我们假设TTNET可以应用于各种基于CNN的架构，并将其扩展到其他属性，例如公平性，故障攻击和精确规则提取。

Graph Neural Networks (GNNs) have shown great potential in the field of graph representation learning. Standard GNNs define a local message-passing mechanism which propagates information over the whole graph domain by stacking multiple layers. This paradigm suffers from two major limitations, over-squashing and poor long-range dependencies, that can be solved using global attention but significantly increases the computational cost to quadratic complexity. In this work, we propose an alternative approach to overcome these structural limitations by leveraging the ViT/MLP-Mixer architectures introduced in computer vision. We introduce a new class of GNNs, called Graph MLP-Mixer, that holds three key properties. First, they capture long-range dependency and mitigate the issue of over-squashing as demonstrated on the Long Range Graph Benchmark (LRGB) and the TreeNeighbourMatch datasets. Second, they offer better speed and memory efficiency with a complexity linear to the number of nodes and edges, surpassing the related Graph Transformer and expressive GNN models. Third, they show high expressivity in terms of graph isomorphism as they can distinguish at least 3-WL non-isomorphic graphs. We test our architecture on 4 simulated datasets and 7 real-world benchmarks, and show highly competitive results on all of them.

How do we know when the predictions made by a classifier can be trusted? This is a fundamental problem that also has immense practical applicability, especially in safety-critical areas such as medicine and autonomous driving. The de facto approach of using the classifier's softmax outputs as a proxy for trustworthiness suffers from the over-confidence issue; while the most recent works incur problems such as additional retraining cost and accuracy versus trustworthiness trade-off. In this work, we argue that the trustworthiness of a classifier's prediction for a sample is highly associated with two factors: the sample's neighborhood information and the classifier's output. To combine the best of both worlds, we design a model-agnostic post-hoc approach NeighborAgg to leverage the two essential information via an adaptive neighborhood aggregation. Theoretically, we show that NeighborAgg is a generalized version of a one-hop graph convolutional network, inheriting the powerful modeling ability to capture the varying similarity between samples within each class. We also extend our approach to the closely related task of mislabel detection and provide a theoretical coverage guarantee to bound the false negative. Empirically, extensive experiments on image and tabular benchmarks verify our theory and suggest that NeighborAgg outperforms other methods, achieving state-of-the-art trustworthiness performance.

The power of Deep Neural Networks (DNNs) depends heavily on the training data quantity, quality and diversity. However, in many real scenarios, it is costly and time-consuming to collect and annotate large-scale data. This has severely hindered the application of DNNs. To address this challenge, we explore a new task of dataset expansion, which seeks to automatically create new labeled samples to expand a small dataset. To this end, we present a Guided Imagination Framework (GIF) that leverages the recently developed big generative models (e.g., DALL-E2) and reconstruction models (e.g., MAE) to "imagine" and create informative new data from seed data to expand small datasets. Specifically, GIF conducts imagination by optimizing the latent features of seed data in a semantically meaningful space, which are fed into the generative models to generate photo-realistic images with new contents. For guiding the imagination towards creating samples useful for model training, we exploit the zero-shot recognition ability of CLIP and introduce three criteria to encourage informative sample generation, i.e., prediction consistency, entropy maximization and diversity promotion. With these essential criteria as guidance, GIF works well for expanding datasets in different domains, leading to 29.9% accuracy gain on average over six natural image datasets, and 12.3% accuracy gain on average over three medical image datasets. The source code will be released: \url{https://github.com/Vanint/DatasetExpansion}.

用户POI矩阵的稀疏性是下一个POI推荐的一个确定的问题，它阻碍了对用户偏好的有效学习。为了关注问题的更详细的扩展，我们为下一个新的（$ n^2 $）POI推荐任务提出了联合三胞胎损失学习（JTLL）模块，这更具挑战性。我们的JTLL模块首先从用户的历史POI访问序列中计算出其他培训样本，然后，提出了设计的三重态损耗功能，以根据其各自的关系减少POI和用户嵌入的距离。接下来，JTLL模块将与最近的方法共同培训，以学习推荐任务的未访问关系。在两个已知的实际LBSN数据集上进行的实验表明，我们的联合培训模块能够改善最近现有作品的性能。

随着社交媒体成为错误信息传播的温床，谣言检测的关键任务已经见证了开源基准数据集促进的有希望的进步。尽管被广泛使用，但我们发现这些数据集遇到了虚假的相关性，这些数据被现有研究忽略了，并导致对现有谣言检测性能的严重高估。虚假的相关性源于三个原因：（1）基于事件的数据收集和标签方案将相同的真实性标签分配给来自同一基础事件的多个高度相似的帖子； （2）合并多个数据源，虚假地将源身份与真实标签联系起来； （3）标记偏见。在本文中，我们仔细研究了三个最受欢迎的谣言检测基准数据集（即Twitter15，Twitter16和Pheme），并提出了事件分隔的谣言检测作为消除虚假提示的解决方案。在事件分离的设置下，我们观察到现有最新模型的准确性大大下降了40％以上，仅与简单的神经分类器相当。为了更好地解决此任务，我们建议出版商样式聚合（PSA），这是一种可推广的方法，它汇总了发布者发布记录以学习写作样式和真实性姿态。广泛的实验表明，我们的方法在有效性，效率和概括性方面优于现有基准。

链接预测（LP）已被认为是图形学习的重要任务，其广泛的实际应用。 LP的典型应用是为给定的源节点（例如朋友推荐）检索最高的评分邻居。这些服务希望具有很高的推理可伸缩性，以找到低潜伏期中许多候选节点的最高评分邻居。最近有两个流行的解码器主要用于计算节点嵌入的边缘得分：HadamArdMLP和DOT产品解码器。经过理论和经验分析后，我们发现HadamardMLP解码器通常对LP更有效。但是，HadamardMLP缺乏在大图上检索最高得分的邻居的可扩展性，因为据我们所知，并不存在算法来检索sublinearearightions中的HadamardMLP解码器的最高得分邻居。为了使HadamardMLP可扩展，我们建议使用手电筒算法加速HadamardMLP的最高得分邻居检索：一种弹性算法，该算法逐渐应用了具有适应性调整的查询嵌入的近似最大内部产品搜索（MIPS）技术。经验结果表明，手电筒在不牺牲效力的情况下将LP的推理速度提高了100倍以上。我们的工作为大规模LP应用程序铺平了道路，并通过大大加速其推断，并通过有效的HadamArdMLP解码器铺平了道路。

特别有趣的是，仅以无监督的生成方式发现有用的表示。但是，尽管现有的正常化流量是否为下游任务提供有效表示的问题，尽管尽管具有强大的样本生成和密度估计能力，但仍未得到答复。本文研究了这样的生成模型家族的问题，这些模型承认确切的可逆性。我们提出了神经主成分分析（Neural-PCA），该分析在\ emph {discending}顺序中捕获主成分时在全维处运行。在不利用任何标签信息的情况下，主要组件恢复了其\ emph {Leading}尺寸中最有用的元素，并将可忽略不计在\ emph {trafing}的尺寸中，允许$ 5 \％$ - $ - $ 10 \％的明确提高性能提高$在下游任务中。在经验上，这种改进是一致的，无论潜在尾随维度的数量下降。我们的工作表明，当表示质量是感兴趣时，将必要的归纳偏差引入生成建模中。

我们如何检测异常：也就是说，与给定的一组高维数据（例如图像或传感器数据）显着不同的样品？这是众多应用程序的实际问题，也与使学习算法对意外输入更强大的目标有关。自动编码器是一种流行的方法，部分原因是它们的简单性和降低维度的能力。但是，异常评分函数并不适应正常样品范围内重建误差的自然变化，这阻碍了它们检测实际异常的能力。在本文中，我们从经验上证明了局部适应性对具有真实数据的实验中异常评分的重要性。然后，我们提出了新颖的自适应重建基于错误的评分方法，该方法根据潜在空间的重建误差的局部行为来适应其评分。我们表明，这改善了各种基准数据集中相关基线的异常检测性能。

标记为图形结构数据的分类任务具有许多重要的应用程序，从社交建议到财务建模。深度神经网络越来越多地用于图形上的节点分类，其中具有相似特征的节点必须给出相同的标签。图形卷积网络（GCN）是如此广泛研究的神经网络体系结构，在此任务上表现良好。但是，对GCN的强大链接攻击攻击最近表明，即使对训练有素的模型进行黑框访问，培训图中也存在哪些链接（或边缘）。在本文中，我们提出了一种名为LPGNET的新神经网络体系结构，用于对具有隐私敏感边缘的图形进行培训。 LPGNET使用新颖的设计为训练过程中的图形结构提供了新颖的设计，为边缘提供了差异隐私（DP）保证。我们从经验上表明，LPGNET模型通常位于提供隐私和效用之间的最佳位置：它们比使用不使用边缘信息的“琐碎”私人体系结构（例如，香草MLP）和针对现有的链接策略攻击更好的弹性可以提供更好的实用性。使用完整边缘结构的香草GCN。 LPGNET还与DPGCN相比，LPGNET始终提供更好的隐私性权衡，这是我们大多数评估的数据集中将差异隐私改造为常规GCN的最新机制。